|
|
Data Lineage Analysis of Frameworks with Complex Interaction Patterns
Hýbl, Oskar ; Parízek, Pavel (vedoucí práce) ; Hnětynka, Petr (oponent)
Manta Flow je nástroj pro analýzu toku dat v podnikovém prostředí. Obsahuje modul Java skener, využívající statickou analýzu k nalezení datových toků Java aplikacemi. Aby bylo možné analyzovat aplikaci využívající určitý framework, vyžaduje skener speciální plugin. Přestože Java skener poskytuje pluginy pro několik frameworků, k použitelnosti na reálných aplikace je nezbytné, aby podporoval frameworků co nejvíce. To vyžaduje implementaci nových pluginů. Aplikace využívající Apache Spark, framework pro výpočty na clusterech, jsou stále populárnější. Proto jsme navrhli a implementovali plugin pro Java skener, který mu umožňuje analyzovat aplikace využívající tento framework. Protože se Spark zaměřuje na zpracování dat, přestavovala implementace pluginu pro jeho podporu, oproti již existujícím pluginům, několik nových výzev. Zejména bylo nutné vyvinout metody detekce schématu dat v různých scénářích a sledovat jeho změny během všech operací vyvolaných na datech. Z několika API, která Spark poskytuje pro zpracování dat, jsme se zaměřili na modul Spark SQL, zejména na třídu Dataset. Vynechali jsme především již zastaralé RDD. Implementovali jsme také podporu pro přístup k databázím pomocí JDBC a k souborům ve vybraných formátech. Implementace byla důkladně testována a je prokázáno, že funguje správně...
|
|
|
Analyzing Data Lineage in Database Frameworks
Eliáš, Richard ; Parízek, Pavel (vedoucí práce) ; Hnětynka, Petr (oponent)
Informačné systémy často vo svojej implementácií využívajú už existujúce frameworky a knižnice. Dôležitou vlastnosťou takýchto systémov sú ich dátové toky. Dáta sú načítané zo zdrojového systému (napríklad databáze), pokračujú cez aplikačný kód a zapísané sú do ďalšieho, cieľového systému. Ako súčasť práce sme implementovali nástroj Java Resolver schopný získavať dátové toky Java aplikácií. Program využíva existujúcu knižnicu Symbolic analysis library, ktorá je shopná počítať dátové toky jednoduchých Java aplikácií. Ako zdrojové a cieľové systémy však knižnica rozpoznáva iba JDBC a I/O API. V našom riešení sme navrhli zmenu architektúry knižnice, aby bola jednoducho rozšíriteľná pomocou pluginov, ktoré môžu pridať podporu pre nové frameworky. Tieto pluginy sme implementovali pre niekoľko frameworkov (Spring JDBC, MyBatis a Kafka). Naše testy ukazujú, že tento prístup môže byť v praxi využiteľný. 1
|
host ::
RSS.